已被证明在改善神经电机翻译（NMT）系统方面有效的深度编码器，但是当编码器层数超过18时，它达到了翻译质量的上限。更糟糕的是，更深的网络消耗了很多内存，使其无法实现有效地训练。在本文中，我们呈现了共生网络，其包括完整的网络作为共生主网络（M-Net）和另一个具有相同结构的共享子网，但层数较少为共生子网（S-Net）。我们在变压器深度（M-N）架构上采用共生网络，并在NMT中定义M-Net和S-Net之间的特定正则化损耗$ \ mathcal {l} _ {\ tau} $。我们对共生网络进行联合培训，并旨在提高M净性能。我们拟议的培训策略在CMT'14 en-> De，De-> EN和EN-> FR任务的经典培训下将变压器深（12-6）改善了0.61,0.49和0.69 BLEU。此外，我们的变压器深（12-6）甚至优于经典变压器深度（18-6）。

最近，非自动增加（NAT）模型并行地预测输出，与自回归（AT）模型相比，实现了产生速度的大量改进。在对原始数据上表现更差的同时，大多数NAT模型都被培训为在教师模型生成的蒸馏数据上的学生模型，称为序列级知识蒸馏。提高模型性能的有效培训策略是自蒸馏混合（SDM）培训，预先训练原始数据模型，通过预先训练的模型本身产生蒸馏数据，最后重新列举模型原始数据和蒸馏数据的组合。在这项工作中，我们的目标是查看NAT模型的SDM，但发现直接采用SDM到NAT模型在翻译质量方面没有改进。通过仔细分析，我们观察失效与教师模型与NAT学生模型的建模和确认偏差相关。基于这些发现，我们提出了一种增强的策略，通过向经典SDM添加两个阶段来提高名为SDMRT的策略：一个是在自蒸馏数据上进行预重磅，另一个是对滤波后的教师蒸馏数据进行微调。我们的结果在多个NAT模型上以0.6至1.2 bleu表示基础。作为另一个奖励，对于迭代细化NAT模型，我们的方法可以在半迭代号内倾斜基线，这意味着2x加速度。

Top-K建议是推荐系统中的一个基本任务，通常通过比较积极和负对对学习。对比损失（CL）是最近受到更多关注的对比学习的关键，我们发现它非常适合Top-K建议。但是，这是一个问题，即CL处理正面和阴性样本的重要性。一方面，CL面向一个正样品的不平衡问题和许多阴性样品。另一方面，稀疏的数据集中很少有稀疏项目应该强调他们的重要性。此外，其他重要问题是稀疏正项目仍然没有充分利用建议。因此，我们通过使用CL损耗功能同时使用多个正项目（或样本）来提出新的数据增强方法。因此，我们提出了一种基于多样的对比损失（MSCL）功能，通过平衡正面和负样本和数据增强的重要性来解决两个问题。基于图表卷积网络（GCN）方法，实验结果表明了MSCL的最先进的性能。所提出的MSCL很简单，可以在许多方法中应用。我们将在验收时发布GitHub上的代码。

As an important variant of entity alignment (EA), multi-modal entity alignment (MMEA) aims to discover identical entities across different knowledge graphs (KGs) with multiple modalities like images. However, current MMEA algorithms all adopt KG-level modality fusion strategies but ignore modality differences among individual entities, hurting the robustness to potential noise involved in modalities (e.g., unidentifiable images and relations). In this paper we present MEAformer, a multi-modal entity alignment transformer approach for meta modality hybrid, to dynamically predict the mutual correlation coefficients among modalities for instance-level feature fusion. A modal-aware hard entity replay strategy is also proposed for addressing vague entity details. Extensive experimental results show that our model not only achieves SOTA performance on multiple training scenarios including supervised, unsupervised, iterative, and low resource, but also has limited parameters, optimistic speed, and good interpretability. Our code will be available soon.

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

视觉问题回答（VQA）通常需要对视觉概念和语言语义的理解，这取决于外部知识。大多数现有方法利用了预训练的语言模型或/和非结构化文本，但是这些资源中的知识通常不完整且嘈杂。有些方法更喜欢使用经常具有强化结构知识的知识图（kgs），但是研究仍然相当初步。在本文中，我们提出了Lako，这是一种知识驱动的VQA方法，通过后期的文本注射。为了有效地纳入外部kg，我们将三元三元转移到文本中，并提出一种晚期注射机制。最后，我们将VQA作为文本生成任务，并具有有效的编码器范式。在使用OKVQA数据集的评估中，我们的方法可实现最新的结果。

零击学习（ZSL）旨在预测看不见的课程，其样本在培训期间从未出现过，经常利用其他语义信息（又称侧信息）来桥接培训（见过）课程和看不见的课程。用于零拍图像分类的最有效且最广泛使用的语义信息之一是属性，是类级视觉特征的注释。但是，由于细粒度的注释短缺，属性不平衡和同时出现，当前方法通常无法区分图像之间的那些微妙的视觉区别，从而限制了它们的性能。在本文中，我们提出了一种名为Duet的基于变压器的端到端ZSL方法，该方法通过自我监督的多模式学习范式从审前的语言模型（PLM）中整合了潜在的语义知识。具体而言，我们（1）开发了一个跨模式的语义接地网络，以研究模型从图像中解开语义属性的能力，（2）应用了属性级的对比度学习策略，以进一步增强模型对细粒视觉特征的歧视反对属性的共同出现和不平衡，（3）提出了一个多任务学习策略，用于考虑多模型目标。通过对三个标准ZSL基准测试和配备ZSL基准的知识图进行广泛的实验，我们发现二重奏通常可以实现最新的性能，其组件是有效的，并且其预测是可以解释的。

知识图（kg）及其本体论的变体已被广泛用于知识表示，并且已证明在增强零拍学习（ZSL）方面非常有效。但是，利用KGS的现有ZSL方法都忽略了KGS中代表的类间关系的内在复杂性。一个典型的功能是，一类通常与不同语义方面的其他类别有关。在本文中，我们专注于增强ZSL的本体，并建议学习以本体论属性为指导的解剖本体嵌入，以捕获和利用不同方面的更细粒度的类关系。我们还贡献了一个名为dozsl的新ZSL框架，该框架包含两个新的ZSL解决方案，分别基于生成模型和图形传播模型有效地利用了分解的本体学嵌入。已经对零摄像图分类（ZS-IMGC）和零射Hot KG完成（ZS-KGC）进行了五个基准测试进行了广泛的评估。 Dozsl通常比最先进的表现更好，并且通过消融研究和案例研究证实了其组成部分。我们的代码和数据集可在https://github.com/zjukg/dozsl上找到。

自回归（AR）和非自动增加（NAR）模型对性能和延迟具有自己的优势，将它们与一个模型相结合，可能会利用两者。目前的组合框架更多地关注多个解码范例的集成，具有统一的生成模型，例如，屏蔽语言模型。然而，由于训练目标和推理之间的差距，概括可能对性能有害。在本文中，我们的目标是通过在统一框架下保留AR和NAR的原始目标来缩小差距。具体地，我们通过将AR和NAR共同建模（左右，左右和直）与新引入的方向变量来提出定向变压器（Diformer），这通过控制每个的预测令牌在那方面有特定的依赖关系。通过方向实现的统一成功地保留了AR和NAR中使用的原始依赖性假设，保留了泛化和性能。 4 WMT基准测试的实验表明，Diformer优于当前的联合建模工作，适用于AR和NAR解码的1.5个以上的BLEU积分，也对最先进的独立AR和NAR模型具有竞争力。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。